HarnessMM: Recursive Self-Improvement for Harness Token Efficiency
HarnessMM:通过守卫决策复用与递归自改进提升 Agent 工具链 Token 效率
🧭 Agent 工具链推理复用与配置自改进
Tsinghua University · Microsoft Research Asia
用守卫决策复用替换工具反馈后的重复推理回调,不改模型权重即可降低Agent harness token成本
📌 工作参考价值(3 点)
- 在电商/导购类 Agent 中,工具返回收据后若满足预设 guard(如价格、库存未变),直接用缓存的动作参数继续执行,避免重复调用 LLM;把“已解析的工具调用”做成可执行决策图,存字面参数与依赖,工程上可大幅省 token。
- 引入 Certified Callback Substitution:在模型-工具边界注册回调替换时,保留原生接口并记录删除慢回调,新语义或证据不足就回退原模型,实践中保障效果不下降。
- 借鉴 RSI:固定模型权重,用训练/评估反馈迭代优化 harness 配置(守卫阈值、缓存策略),验证集选优,能以低成本对线上 agent 配置做自动调参。